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Кеулуогй»: АгййсШ 1п1сШ§спсе, Встюгсстсп! Ьеатт§, Раг0а1 ОЬзегуаЬПку, ЕуепЮпуеп 
Мос1с1, ОсПпкюп оГ ОЬ|сс(. 

Въведение 

Когато разучаваме непознат град, ние се опитваме да нарисуваме картата на този град. 
Когато искаме да разберем непознат свят, ние се опитваме да построим модел на тази свят. 
Моделът е нещо като карта на света и ще представлява един ориентиран граф. 

Какъв модел на света търсим? Дали търсим генератор или дескриптор? 

Ако търсим генератор, то той трябва да е съвършен и да описва света напълно. За да 
създадем света (да го генерираме) на нас ни е нужно пълното му описание. Да, но на нас не 
ни е нужно да създаваме света, защото той вече е създаден и ние трябва само да го 
разберем. 

Ние ще се опитаме да намерим дескриптор, който описва света частично, като казва нещо, 
без да каже всичко. Светът не може да бъде разбран напълно, ако е достатъчно сложен, 
затова ще се откажем от намирането на генератор (пълното описание на света) и ще 
търсим дескриптор (някакво частично описание). 

В тази статия ще предполагаме, че съществува модел-генератор, който описва света 
напълно. Ние ще използваме този модел-генератор с теоретична цел, като чрез него ще 
дефинираме понятието събитие. Ще използваме този модел, но няма да го търсим, защото 
ще предполагаме, че този модел е твърде сложен, за да бъде намерен. Няма да търсим този 
модел, а ще търсим някакви по-прости модели, всеки от които ще описва някаква 
зависимост или някакво свойство. Тези модели ще ги наречем сусп1-с1пусп модели. 
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И ние, както повечето автори, ще предполагаме, че моделът-генератор на света е Магкоу 
йесшоп ргосе88 (МОР). Що се отнася до еуепййпуеп моделите, те са обобщение на МОР, 
където вместо действия имаме произволни събития. 

Първият опит за въвеждане на сусЩ-йпусп модели, доколкото ни е известно, е в статиите 
[1] и [2]. Все пак, подхода в тази статия е по-различен от подхода в [1,2], защото там 
авторите използват събитията, за да търсят стратегия, докато тук ние ги използваме, за да 
търсим модел. 

Ние ще махнем от МИР нещо, което за момента не ни трябва. Ще махнем целта. Тоест, ще 
махнем ге\уагЙ8 и сЙ8Соип1 Гас1ог. Това, което ще се получи е Вст1'огсстсп1 Ьеатт§ без 
гет1'огсстсп1. Махаме целта, защото в тази статия търсим модел на света, а не търсим 
стратегия. Тоест, задаваме си въпроса „Какво става?“, а не „Какво да правя?“. Целта е 
нужна за отговора на втория въпрос, но не и на първия. 

Ние ще дефинираме сусп1-с1пусп моделите като обобщение на МОР моделите. За целта ще 
започнем от най-простия модел и ще го обобщим на няколко стъпки, като минем през 
МОР моделите и стигнем до сусШ-Ипусп моделите. 

Възможно най-простият модел, от който ще почнем, ще бъде Ри11у оЪзегуаМе Магкоу 
шобе1 (РОММ). Това е най-простият вариант на Магкоу скат. За РОММ ще видим как той 
може да предсказва миналото. Ще видим, че за всеки свят може да се намери стандартен 
РОММ, който върши някаква работа, макар че в общия случай този модел няма да е 
съвършен. 

Следващото, което ще направим, е да покажем, че агента се нуждае от динамична памет и 
че Ри11у оЪ8егуаЪ1е тос1е1 означава модел без памет. Това ще е нашето основание да 
забравим за Ри11у оЬ8егуаЬ1е тойеВ. Ние ще направим първото наше обобщение и ще 
преминем към РагйаИу оЬ8егуаЬ1е Магкоу тос1е1, който е известен в литературата като 
НШйеп Магкоу тос1с1. 

Ще дадем формална дефиниция на понятията факт и събитие. Ще ги дефинираме като 
подмножество от състоянията и подмножество от стрелките на модела-генератор. Ще 
покажем, че тези две понятия са близки, макар и различни. 

Дали моделът-генератор е единствен? Ще покажем, че не е и че има минимален и 
максимален модел. Тук не става дума за броя на състоянията, за та това какво „знаят“ тези 
състояния. 

Кой ще е генераторът, който ще използваме, за определянето на фактите и събитията? 
Отговорът е: „Някой от генераторите.“ Все пак, важно е да съзнаваме, че за всяко събитие 
трябва да се търси генератор, който го представя. (Едно събитие може да е подмножество 
от стрелките на един генератор, но да не е подмножество от стрелките на друг.) 

Следващото обобщение, което ще направим ще бъде МОР моделът. Това ще бъде РагйаИу 
оЪ8егуаЪ1е Магкоу йесшоп ргосе88, в който сме махнали ге\уагЙ8 и сШсоип! 1'ас1ог. Новото 
при този модел е, че той отчита действията на агента. В този модел ще се откажем от 
ограничението събитието да е само едно (т.е. всички стрелки да са еднакви). 
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Ще забележим, че в МОР модела агентът има свободна воля (тоест може да прави каквото 
си поиска), докато светът е ограничен от някакви правила, които определят точно какво ще 
направи. 

На базата на това ще направим два варианта на МОР. В първия вариант и светът и агентът 
ще са лишени от свободна боля и ще са задължени да изпълняват точно определена 
стратегия. (Този модел ще го наречем МОР РЪсеб.) Във втория вариант и двамата ще имат 
свободна воля и ще могат да правят каквото си поискат. Тоест ще могат да избират който 
си искат от възможните ходове. 

Ще направим едно обобщение на тези три модела (на МОР и на двата му варианта). Това 
обобщение ще го наречем МОР Р1ш и ще покажем, че този модел е полу-съвършен. Тоест 
частично ще се откажем от съвършенството, но все още не напълно. 

Ще въведем понятието „предпочитание“. Моделът ни казва какво може да се случи, а 
предпочитанието ни казва какво агентът предпочита да се случи. Предпочитанието ще е 
това, чрез което агентът ще влияе на света. 

Ще направим обратния на МОР Р1и§ модела, който предсказва миналото. Ще видим, че 
обратният на МОР модела не е МОР модел, което е причината другите автори да не 
говорят за обратен модел и за предсказване на миналото. 

След това въведение и разглеждане на съвършени и полу-съвършени модели, ние напълно 
ще е се откажем от съвършенството като се откажем от свойството на Марков. 

Следващата стъпка ще бъде да заменим действията на агента с произволни събития. Това 
ще бъде най-важното обобщение в резултат на което ще получим е\'еп1-с1пуеп моделите. 

За да има смисъл моделът, в състоянията му трябва да се случва нещо специално, което да 
ги отличава? Това специално нещо ще наречем следа. Ще покажем, че следата също може 
да е несъвършена. 

Зависимост, която се случва от време на време ще наречем явление. Ще въведем следа с 
памет. Например, едно състояние може да помни, че там се е заселил някой обект. Също 
така може да помни кое явление агентът е наблюдавал в това състояние предишния път и 
следващия път пак да му демонстрира същото явление. 

Ще въведем обекта като абстракция. Обектът ще има някакви свойства, а свойствата ще 
представим като е\ ; сп1-с1пусп модели. 

Ще видим каква е връзката между модела-генератор и суеп1-с1пуеп модела. Тя е, че сусгИ- 
с1пусп моделът е фактор множеството на някой от генераторите. Хубавото на фактор 
множеството е, че така съществено се намалява броят на състоянията. Лошото е, че се губи 
много от информацията за света, защото състоянията са отъждествени чрез някаква 
релация на еквивалентност, а тази релация може да е много груба. 

По този начин теоретично може да получим сусп1-с1пусп модел от модела-генератор, но 
ние няма да тръгнем по този път, а ще го постоим директно използвайки реални събития. 
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Как ще определим събитията? Не става дума за формална дефиниция, а реално да си 
отговорим на въпроса кога едно събитие се случва. Ще определяме събитията пряко и 
косвено. 

Прякото откриване ще става чрез характеристична функция, а косвеното чрез следата 
(тоест, по това което се случва, ще заключим, че сме преминали в друго състояние и оттам, 
че се е случило събитие). 


Литературен обзор 

Относно еуеп1-с1пуеп моделите, най-ранното изследване, което намерихме в литературата, 
са статиите [1] и [2]. Тук ще обсъдим статията [2], защото там идеите са по-ясни и по- 
изчистени. 

В [2] авторите са забелязали, че моделът-генератор има прекадено много състояния. Оттук 
следва, че трябва да се потърси модел е по-малко състояния. За съжаление авторите на [2] 
не са тръгнали по този път, а са се опитали директно да търсят стратегия прескачайки 
намирането на модел. 

Все пак, в [2] е направено най-важното. Там е показано, че в основата на разбирането на 
света не трябва да са действията на агента, а произволни събития. Авторите на [2] 
въвеждат понятието „събитие“. Дефиницията на събитие, която ние използваме в тази 
статия е заимствана от дефиницията дадена в [2] (е известно уточнение). 

Има съществена разлика между подхода приложен в статията [2] и подхода, който ние 
прилагаме. Разликата е в това, че ние търсим модел, а те търсят стратегия. 

Когато попаднете в непозната ситуация, кой ще е първият въпрос, който ще си зададете? 
Дали това ще е въпросът „Какво става?“ или въпросът „Какво да правя?“ Важният въпрос е 
вторият. Важното е да решим какво ще правим, но първият въпрос, който ще си зададем е 
„Какво става?“ Ако знаем какво става, лесно ще намерим отговор и на въпроса „Какво да 
правя?“ 

Ние в тази статия търсим модел, тоест опитваме се да отговорим на въпроса „Какво 
става?“ Авторите на [2] търсят стратегия. Тоест те се опитват да отговорят директно на 
въпроса „Какво да правя?“ пропускайки отговора на първия въпрос. 

Тоест авторите на [2] са забелязали проблема и са направили първата стъпка за решаването 
на този проблем, но не са направили втората стъпка, а тя е въвеждането на сусгИ-йпусп 
моделите. 


КетГогсетеп!: Ьеагпт§ без гетГогсетеп!: 

Както казахме, ние ще търсим отговор само на въпроса „Какво става?“ и няма да си 
задаваме втория въпрос „Какво да правя?“ Тоест на нас не ни е нужна цел. Повечето 
автори дефинират МОР специално за РстГогсстеШ Ьеагтп§, като добавят и цел. Тоест 
добавят гсу/агсК и сйзсоигй ГасГог. 
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Ако търсим стратегия, ние не можем без цел, но ако търсим само модел тогава целта не ни 
е нужна. Тоест ще разглеждаме Вет(огсстеп1 Ьеагтп§ без гет('огсстеп1. Няма да имаме 
цел и единствената ни цел ще е познанието. За нас целта няма да е важна, защото ако 
разберем света достатъчно добре, тогава за нас няма да е проблем постигането на 
произволна цел. 

В [6] вече обсъдихме защо ййсоигЦ Гас1ог трябва да се махне от дефиницията на МОР. Ако 
махнем и гешагсВ от дефиницията ще загубим целта, но дали няма да загубим и част от 
информацията. За да не губим информация ще преместим гешагсВ в наблюдението. 
Например, в училище целта на децата са оценките. Ако махнем оценките, ще скрием част 
от информацията, но може да оставим оценките и да кажем на децата, че те не са цел, а са 
само за сведение. 

Единственият проблем ще е това, че при някои модели наблюдението е свързано със 
състоянието на света, а наградата е свързана е прехода (стрелката). Затова ние ще 
предположим, че имаме следа (т.е. нещо специално се случва) не само в състоянията, но и 
при преходите между състояния. 


Какво ни е дадено? 

Имаме агент и свят, които си взаимодействат. Това взаимодействие можем да си го 
мислим като наблюдение-действие или като въпрос-отговор. 



(У1е\у) 

Идиге 1 


Резултатът от това взаимодействие е редицата: 

..., У-2, а-2, У-1, ад, Уо, ао, VI, зц, V2, аг, ... 

Нека множеството на възможните наблюдения е Г2, а множеството на възможните 
действия е Е. Нека Г2 и Е са крайни множества. Можем да си мислим редицата от действия 
и наблюдения като една дума (крайна или безкрайна) над азбуките О и Е. 

Тук моментът „нула“ ще бъде текущият момент. Преди този момент ще бъде миналото, а 
след него ще бъде бъдещето. Повечето автори предполагат, че съществува някакво 
абсолютно начало, първи момент преди който няма минало. Ние няма да предполагаме 
съществуването на такова абсолютно начало. В [6] обяснихме, че дори да имаме 
абсолютно начало, то е твърде назад в миналото и е по-добре да не се занимаваме е него, а 
да се интересуваме само от текущия момент. При повечето автори терминът начален 
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момент се използва за означаване на абсолютното начало, а при нас „начален момент“ ще 
наричаме текущия момент. 


Какво търсим? 

Търсим модел на света. Моделът ще има вида на ориентиран граф (фигура 2). Възлите на 
графа ще наричаме състояния. Едно от състоянията ще наричаме „начално“ или „текущо“. 
Това е състоянието 2 на фигура 2 и то е отбелязано е по-голям кръг. 



Е1§иге 2 


На стрелките ще съответстват някакви причини за промяната на състоянието на света. 

Тези причини ще наречем „събития“ и на фигура 2 сме отбелязали тези събития е различен 
цвят на стрелките. 

На всяка стрелка ще съответстват две вероятности. Първата ще бъде вероятността да бъде 
избрана стрелка е този цвят (това събитие да се случи), втората ще бъде вероятността да 
бъде използвана точно тази стрелка (от няколкото които имат този цвят). Произведението 
на тези две вероятности ще е равно на вероятността тази стрелка да бъде използвана. 

Много често едната от тези две вероятности ще е ясна и тогава на стрелките ще слагаме 
само една вероятност. Вероятността я разделяме на две, защото изборът на стрелката е 
разделен на две. Първо се избира събитието и после се избира точната стрелка. 

Дотук описахме модела, но той все още нищо не ни казва за света. За да има смисъл един 
модел, нещо специално трябва да се случва в неговите състояния. Това, което очакваме да 
се случи в неговите състояния, ще наречем „следата на модела“. На фигура 2 сме 
отбелязали следата като сме оцветили състоянията е различни цветове. Тоест, ако две 
състояния са оцветени е един и същи цвят, то в тези две състояния едно и също очакваме 
да се случва. 

Смисълът на модела е да ни каже нещо за бъдещето и за миналото. Съвършен модел ще 
бъде този, който ни дава съвършено описание на бъдещето, при условие че стратегията на 
агента е фиксирана. (Бъдещето се определя както от света, така и от агента. Затова не 
можем да искаме да знаем какво ще се случи без да знаем какво ще направи агентът. 

Затова предполагаме, че стратегията на агента е фиксирана. Искаме съвършено описание 
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само на бъдещето, но не и на миналото, защото моделът може да описва съвършено 
бъдещето без да описва съвършено миналото.) 

Трябва да кажем какво е съвършено описание на бъдещето и какво е стратегия. 


Дефиниции 

Редицата от действия и наблюдения няма да е еднозначно определена, дори моделът да е 
даден. Тоест моделът ще има много възможности за минало и за бъдеще. 

Редицата от действия и наблюдения преди началния момент ще наречем възможно 
минало, а редицата от началния момент нататък ще наречем възможно бъдеще. За да не 
работим с безкрайни думи, ще разгледаме възможните развития на миналото и на 
бъдещето. 

Дефиниция. Възможно развитие на миналото ще наричаме всяка крайна дума, която е 
край на някое възможно минало. 

Дефиниция. Възможно развитие на бъдещето ще бъде всяка крайна дума, която е начало 
на някое възможно бъдеще. 

Ще дефинираме „съвършено описание на бъдещето“, в което всяко възможно развитие на 
бъдещето ще се случва с точно определена вероятност. 

Дефиниция. Съвършено описание на бъдещето ще наричаме множеството РиШге всеки 
един от елементите, на което има вида <а>, р>, където со пробягва възможните развития на 
бъдещето, а ре вероятността това развитие да се случи (р>0). 

РиШге={<а>, р >I сое възможно развитие на бъдещето,/? вероятността со да се случи/ 

Дефиниция. Стратегия на агента ще наричаме функция, която на всяко състояние и 
възможно действие ни дава вероятността това действие да бъде извършено от агента. 

РоИсу : 5 х Е —> М 

Дефиниция. Детерминирана стратегия ще наричаме такава, която дава вероятност 
единица за една от възможностите и вероятност нула за останалите. 

Повечето автори, когато говорят за стратегия, имат предвид детерминирана стратегия. Ако 
хвърляме ези или тура и така определяме дали да завием наляво или надясно, това е 
стратегия, но това не е детерминирана стратегия. 

Дефиниция. Съвършен модел ще бъде този, който ни дава съвършено описание на 
бъдещето, при условие че стратегията на агента е фиксирана. 


Ри11у оЪзегуаЪю Магкоу шос!е1 

Това е възможно най-простият модел на света. 
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Дефиниция: Ри11у оЪ§егуаЪ1е Магкоу тос1е1 е следното: 

5 = 0 (множеството на състоянията съвпада с множеството на възможните наблюдения) 
р : 5 х 5 —> И (вероятността за преход от едно състояние към друго) 

р(I, ]) = Рг(У п =] I У п .1=1) (вероятността за преход от състоянието I към състоянието у) Тук У п 
е редицата от наблюдения. 

В литературата наричат този модел □йспДс-Цтс и г Пте-Ьото§епеои8 Магкоу сНат. 
□йсгсЩ-Нтс означава, че процесът е стъпков, а Тпг 1 с-Ното§епеои 8 означава, че 
вероятностите не зависят от това на коя стъпка е процесът. На фигура 3 е показана такава 
верига. 



П§иге 3 


Тук стрелките са само един цвят, защото има само едно събитие и това е събитието 
„истина“ (това събитие се случва винаги, т.е. на всяка стъпка). 

Тук следата на модела ще бъде тотална. Тоест, във всяко състояние нещо специално ще се 
случва. Това, което ще се случи в съответното състояние е, че агентът ще види едно точно 
определено наблюдение (един от елементите на О). Ще предполагаме, че имаме Ри11 
ОЪзегуаЪййу, тоест че по наблюдението можем да определим кое е състоянието на модела, 
тоест че няма две състояния оцветени с един и същи цвят (т.е. в които наблюдаваме едно и 
също). 

На всяка стрелка ще съответства една вероятност. (Вероятностите няма да са две, защото 
вероятността да се случи събитието е единица, защото има само едно възможно събитие. 
Тоест, остава само втората вероятност. На фигура 3 тази вероятност е поставена само там 
където има повече от една стрелка, защото когато стрелката е една, вероятността е 


единица.) 


Дали Ри11у оЪ8егуаЪ1е Магкоу тос1е1 (РОММ) е съвършен модел на света? Да, но само ако 
изпълнява свойството на Марков. 

Ако бъдещето зависи само от това в кое състояние на света сме, но не зависи от това как 
сме стигнали до това състояние, тогава моделът е съвършен. Свойството на Марков 
означава, че моделът не може да бъде подобрен. Ако имаше два различни начина да се 
стигне до едно състояние и тези два начина ни даваха различно бъдеще, тогава ние бихме 
могли да разделим състоянието на две, по единият начин да отидем в едното състояние, а 
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по другият в другото. Така бихме подобрили модела, защото тези две нови състояния биха 
ни дали по-точна прогноза за бъдещето. Ако имаме свойството на Марков, тогава тези две 
нови състояния ще дадат еднаква прогноза за бъдещето, тоест не бихме подобрили модела 
по този начин. 


Обратен РОММ 

Видяхме, че РОММ ни дава предсказание за бъдещето. Дали можем да обърнем този 
модел и е него да започнем да предсказваме миналото? Ако тръгнем срещу стрелките, ще 
получим възможните развития на миналото, но ние искаме да знаем не само кое развитие е 
възможно и кое е невъзможно, а искаме още да знаем вероятността на всяко от 
възможните развития. 

За всяко състояние и за всяка изходяща стрелка имаме вероятността от това състояние да 
излезем по тази стрелка. Дали по тези вероятности ще можем да получим входящите 
вероятности? Тоест, за всяко състояние и всяка входяща стрелка да получим вероятността 
в това състояние да сме влезли по тази стрелка. Отговорът е: Да можем, ако нямаме „бели 
върхове“. Първо трябва да кажем какво е бял връх. 

Дефиниция. Черна дупка ще наричаме множество от състояния, при което няма път от 
състояние от множество до състояние извън множеството. Ще искаме още множеството да 
е непразно и да не съдържа началното състояние. 

Тоест, това е множество от състояния, в което веднъж ако влезем, повече не можем да 
излезем от него. Бял връх ще бъде обратното на черна дупка. Това ще е множество, от 
което веднъж ако излезем, повече не можем да се върнем в него. 

Дефиниция. Бял връх ще наричаме множество от състояния, при което няма път от 
състояние извън множество до състояние от множеството. Отново ще поискаме 
множеството да е непразно и да не съдържа началното състояние. 

На фигура 3 има бял връх (множеството (1)) и черна дупка (множеството (3, 4)). 

Ще предполагаме, че във РОММ може да имаме бели върхове и черни дупки, но дали 
можем да имаме множества, които са и едното и другото. Тоест, в тези множества да не 
можем нито да влезем нито да излезем. Ще предполагаме, че нямаме такива състояния, 
защото тези състояния са излишни. Белият връх не участва в предсказването на бъдещето, 
а черната дупка в предсказването на миналото. Ако едно множество е двете едновременно, 
тогава то няма да участва в предсказването нито на миналото, нито на бъдещето. Затова ще 
предполагаме, че тези излишни състояния са отстранени и просто ги няма. Единственият 
проблем при отстраняването на тези излишни състояния е, че вътре в белите върхове може 
да се наруши правилото, че сумата от вероятностите на изходящите стрелки е единица. 
Такъв е примерът във фигура 3. Там от състояние 1 излиза една стрелка е вероятност 80%. 
Предполага се, че оставащите 20% отиват в ненужни състояния, които сме отстранили. 
Това нарушение няма да е проблем, защото изходящите вероятности в белите върхове 
въобще не са важни, защото те служат за предсказване на бъдещето, а белите върхове не 
участват в предсказването на бъдещето. Аналогично, горните разсъждения могат да се 
направят за черните дупки и за входящите вероятности, които ще въведем сега. 
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Теорема 1 . За всеки РОММ, в който няма бели върхове, можем на базата на изходящите 
вероятности да изчислим входящите и по този начин да предскажем миналото. Ако 
предсказанието на бъдещето е било съвършено, то и предсказанието на миналото пак ще е 
съвършено. 

Доказателство: Идеята е просто да обърнем стрелките и да получим нов РОММ, който 
предсказва миналото по същия начин, по който старият РОММ предсказва бъдещето. За 
целта ще трябва да преизчислим вероятностите и да заменим изходящите с входящи 
вероятности. 

В това доказателство ще подходим, не като математици, а като инженери и вместо за 
вероятности ще говорим за бройки. 

Ще предположим, че тръгваме от началното състояние и вървим по стрелките докато не се 
върнем пак в началното или не попаднем в черна дупка. Нека това сме го направили 
многократно, например 100 пъти. Ще преброим по всяко ребро колко пъти сме минали. На 
базата на тези бройки можем да сметнем изходящите вероятности и те ще са тези, които 
имаме първоначално (с някаква статистическа грешка). Ще можем да сметнем и 
входящите вероятности (пак със статистическа грешка). 

Ако вземем стрелките излизащи от началното състояние и сумираме, по колко пъти сме 
минали по всяка една от тях, ще получим 100, защото 100 пъти сме тръгнали от началното 
състояние. Дали сумата от входящите стрелки към началното състояние пак ще е 100? Не, 
тя може да е по-малко, защото трябва да извадим случаите, когато сме попаднали в черна 
дупка. 

По този начин можем да сметнем входящата вероятност на всички състояния, които не са 
част от бял връх или черна дупка. Ние предположихме, че в този РОММ няма бели 
върхове, а черните дупки не участват в прогнозата на миналото и затова при тях 
входящите вероятности не са важни. Тоест, полученият нов РОММ ще предсказва 
миналото. 

Ако първоначалният РОММ е съвършен и не може да се подобри, то и полученият обратен 
РОММ ще е съвършен и няма да може да се подобри. Това твърдение е интуитивно ясно, 
но се нуждае от строго доказателство. 


Видяхме, че ако имаме съвършено описание на бъдещето, от него можем да получим 
съвършено описание на миналото. Да, това е така, ако нямаме бели върхове. Какво правим, 
ако имаме. Тогава това вече не е така, защото върху белите върхове можем да сложим 
каквито си поискаме входящи вероятности. 

Нека повторим доказателството на Теорема 1, но сега да предполагаме, че имаме и бели 
върхове. Сто пъти тръгнахме от началното състояние. Нека вземем една стрелка идваща от 
бял връх. Ще тръгнем от тази стрелка колкото пъти си искаме. Може да тръгнем нула, 
едно, сто или хиляда пъти. Ако не тръгнем нито веднъж по тази стрелка, това ще ни даде 
входяща вероятност нула за тази стрелка. Колкото повече пъти тръгнем от нея, толкова по- 
голяма вероятност ще получим за тази стрелка. Това ще го направим за всички стрелки 
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идващи от бели върхове. Ще тръгнем и ще вървим докато не стигнем до началното 
състояние или до черна дупка. По този начин ще се променят входящите вероятности не 
само на състоянията, в които влизаме непосредствено от бял връх, а ще има промяна при 
всички състояния, през които сме минали. 

Тоест, на стрелките идващи от бял връх ние може да сложим произволна входяща 
вероятност и това ще промени всичките входящи вероятности в обратния РОММ. 
Входящите вероятности вътре в самите бели върхове не се определят по този начин, но на 
тях ние може да поставим произволна вероятност (и тя няма да промени останалите 
вероятности). 

Тоест, видяхме, че в общия случай, ако имаме съвършена прогноза за бъдещето, от това не 
следва че от нея можем да получим съвършена прогноза за миналото. Може само в 
частния случай когато нямаме бели върхове. 


Стандартен РОММ 

За всеки един свят ние можем да направим модел, който да е РОММ. Това ще стане като 
вземем множеството на състоянията да бъде множеството П и стрелките и вероятностите 
върху стрелките ще поставим на базата на статистика за известен период от време. Тук 
нямаме проблем да събираме статистика, защото имаме Ри11 ОЬяеп/аЬПйу, тоест знаем във 
всеки момент в кое състояние сме. Проблем ще е, ако събираме статистика през един 
период, а се опитаме да я използваме за модел описващ друг период. Проблемът е, че двата 
периода могат да дадат различна статистика. Ние ще предположим, че двата периода 
съвпадат. Тоест, моделът ще описва периода от време, в който сме събирали статистика. 
Така е сигурно, че статистиката ни ще е адекватна. 

Въпросът е доколко адекватен ще е този модел? Това ще е модел, който ни казва нещо за 
света. Той ще ни даде каква е вероятността за всеки две наблюдения да следват едно след 
друго. Това ще е средната вероятност, но дали този модел ще е съвършен, тоест дали не 
може да бъде подобрен. 

Да, в един много частен случай моделът ще е съвършен и няма да може да бъде подобрен, 
но в общия случай ще има и по-добри модели. Тоест, възможно е така полученият модел 
да има свойството на Марков, но това е много малко вероятно. За да бъде този модел 
съвършен, трябва статистиката да е върху безкраен интервал от време, защото всяка 
крайна последователност има модел, който я описва напълно, тоест моделът й може да 
бъде подобрен. 

Дори и безкрайните интервали могат да бъдат описани напълно (само че от безкрайни 
модели). За да не може моделът да бъде подобрен, трябва да имаме континуум много 
безкрайни интервали. Само тогава може да е в сила свойството на Марков. 

Например нека имаме редицата „черно“ и „бяло“, където всяко следващо наблюдение се 
определя е хвърляне на монета. Тогава, ако построим стандартния РОММ, той ще ни даде 
„черно“ е вероятност 50% и това ще е съвършеният модел. Нека света ни дава два пъти 
„черно“ и два пъти „бяло“, и така нататък. Тогава стандартният РОММ ще е същият, 
защото след „бяло“ ще има черно е вероятност 50%, но това няма да е съвършен модел, 
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защото моделът може да се подобри и да се каже е по-голяма точност какво ще видим (в 
конкретния случай дори съвсем точно). 

Вярно е, че за да подобрим модела ще ни е нужна памет, а за целта трябва да се откажем от 
Ри11 ОЪкегуаЪййу. 

Динамична памет 

Каква е разликата между постоянна и динамична памет? В седмицата има седем дни. Това 
е нещо постоянно, което вие можете да запомните веднъж завинаги, тоест да го сложите 
във вашата постоянна памет. От друга страна, днес е четвъртък. Това не можете да го 
запомните веднъж завинаги, защото утре ще е петък и това вече няма да е вярно. Това, че 
днес е четвъртък трябва да го сложите във вашата динамична памет и да го променяте 
регулярно. 

Нужна ли ни е динамична памет? Ако сме в един постоянен свят, в който непрекъснато е 
четвъртък, винаги е сутрин и винаги сме закусили, през цялото време сме на едно и също 
място и нищо не се променя, тогава на нас няма да ни е нужна динамична памет. Ако 
светът се променя, тогава ни трябва динамична памет, за да разбираме какво става. 

В постоянната памет ще запомним модела, а в динамичната ще помним кое е текущото 
(началното) състояние, в което се намираме. В известен смисъл само динамичната памет е 
памет. ИИ ще трябва да разбере какъв е моделът и да го запомни в своята постоянна памет, 
но ако направим устройство, което не е ИИ и не е за всеки свят, а е направено специално за 
конкретния свят, тогава това устройство може да има описание на модела вградено вътре в 
себе си и ще трябва да помни само текущото състояние, в което се намира. Тоест, ако 
имаме устройство направено специално за конкретния свят, то няма да има нужда от 
постоянна памет, а само от динамична. 

Колко голяма е динамичната памет на модела? Колко бита? Отговорът е логаритъм при 
основа 2 от броя на състоянията на модела. По-точно не от броя на състоянията, а от 
максималният брой състояния е еднакъв цвят, защото на нас не ни е нужно да помним 
какво виждаме в момента (цвета на състоянието), а само в кое от няколкото възможни 
състояния сме. 

Каква е динамичната памет при Ри11 ОЪ§егуаЪШ1у моделите? При тези модели 
максималният брой на състояния е еднакъв цвят е едно. Тоест, паметта е нула бита. 

Нашето убеждение е, че интересните светове не са постоянни (променят се). Затова ще ни 
трябват модели е памет. Това е причината, поради която ще се откажем от Ри11 
ОЬкегуаЬПйу и ще разглеждаме само модели е Рагйа1 ОЬвегуаЬПйу. Тук се отличаваме от 
повечето автори, които предпочитат да работят е Ри11у оЪ§егуаЪ1е модели и приемат, че 
тези модели са по-прости. Ние вярваме, че общият случай е по-прост от частния и затова 
Рагйа1у оЬ8егуаЬ1е моделите са по-прости, по-разбираеми и вършат повече работа. 

В момента при ИИ разработките има огромен напредък при разпознаването, но 
резултатите в разбирането на това, какво става, са много слаби. Например, ИИ програмите 
разпознават прекрасно лица и гласове, но не могат да проведат елементарен разговор. 
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Причината за това е, че повечето изследователи използват модели без памет (невронни 
мрежи и Ри11у оЪ§егуаЪ1е модели). За разпознаването динамична памет не е нужна. Ако 
видите два пъти едно и също лице, от вас се очаква да кажете едно и също. Ако искате да 
проведете елементарен разговор ще ви потрябва динамична памет, защото ако ви зададат 
два пъти един и същи въпрос, не се очаква да отговорите едно и също. Би трябвало вие да 
помните, че този въпрос вече веднъж ви е зададен. 

Затова се отказваме от Ри11 ОЪкегуаЪПйу и преминаваме към следващите модели. 


ШсШеп Магкоу шойе1 

Тези модели се различават от РОММ§ единствено по това, че тук можем да имаме няколко 
състояния е еднакъв цвят (т.е., в които виждаме едно и също наблюдение). 

Дефиниция: НШбеп Магкоу то<М е следното: 

5 (множеството на състоянията) 

Тгасе: 5 (какво виждаме във всяко състояние) 
р: 5 х 5 Ш (вероятността за преход от едно състояние към друго) 

р(Ъ )) — Рг(5 п —) / 5 п -1=0 (вероятността за преход от състоянието / към състоянието у) 

Тук 5 п е състоянието на и-тата стъпка. 

Шскюп Магкоу тос1с1 (НММ) е модел е памет (за разлика от РОММ). След като моделът 
има памет, следва да си зададем въпроса какво помнят състоянията на модела. В тази 
статия ще говорим за това какво знаят състоянията за миналото и за бъдещето. Няма да 
използваме глагола „помня“, защото той предполага, че имаме едно единствено минало и 
че ние сме го запомнили, тоест записали сме някъде какво се е случило. В случая миналото 
няма да е запомнено, но на базата на модела ще можем да кажем някои неща за миналото и 
за бъдещето. Най-вече ще кажем кои развития са възможни и кои са невъзможни. 
Евентуално, за някои възможни развития ще можем да кажем каква е тяхната вероятност. 

Какво може да знае състоянието за миналото и за бъдещето? То може да знае някакви 
факти. По друг начин казано, ако състоянието е текущото, какво тогава бихме могли да 
кажем за миналото и за бъдещето? Тогава бихме могли да кажем някакви факти. 

Първо трябва да кажем какво е факт и какво е събитие. 


Факти У5. събития 

Фактите са нещо, което понякога е истина, а понякога е лъжа. Събитията са нещо, което 
понякога се случва, а понякога не се случва. В [6] дефинирахме събитието като булева 
функция на времето. По същият начин можем да дефинираме и фактите и тогава събитията 
и фактите ще са едно и също нещо от теоретична гледна точка. 

Все пак, за нас събитието е нещо което е истина от време на време, докато фактите са 
истина в определени интервали от време. Това е една неформална представа за това, че 
става дума за различни обекти, но ако ги разглеждаме като булеви функции те няма да са 
различни. 
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В тази статия ще променим дефиницията на събитие. Ние ще заимстваме дефиницията 
дадена в [2] и ще дефинираме събитието като множество от стрелки. Фактите ще ги 
дефинираме като множества от състояния. По този начин събитията и фактите ще са 
формално различни обекти, макар че пак ще са много близки. 

Твърдение 1 . Фактът и събитието са доста близки. 

Обосновка: 

Ще покажем, че всеки факт може да се представи като събитие. Нека вземем множеството 
от стрелките излизащи от състоянията на този факт. Това ще е събитие и то ще се случва в 
моментите, в които е верен фактът. (Ако бяхме взели стрелките, които влизат в 
състоянията, тогава щяхме да получим същото събитие изместено с една стъпка напред.) 

Аналогично, можем да представим събитието Е като факт, но няма да е факт в същия 
модел, а ще бъде факт в друг модел, който е еквивалентен на първия. Новият модел ще 
построим като удвоим състоянията на първия. Всяко състояние 5* ще заменим с з[ и з". 
Всяка стрелка 5( —> 3] ще заменим с две стрелки: 

3- —> з" И 5 " —> з" , ако (5; — >5^) Е Е 
3- —> з' И 5 " —> з’ , ако (5; —> 5,-) 0 Е 


Фактът ще е множеството 5", където 5" = {5 | 31 ■ з = 5 " } . 

Тази конструкция не е много добра, защото фактът ще е истина не на същата стъпка, в 
която се е случило събитието, а на следващата. Освен това не е съвсем ясно, кое трябва да 
е новото начално състояние. Ако начално състояние е било 5 0 , то дали новото трябва да е 
5д или 5д ? Ние обаче ще си затворим очите за тези несъвършенства на конструкцията. 


Защо променяме дефиницията на събитие? Представете си, че имате статуетка, в която има 
пукнатина, която искате да опишете. Представете си, че не разполагате с цялата статуетка, 
а само с един резен (зПсе) от нея. Тогава ще опишете пукнатината само на базата на този 
резен. Това ще е едно непълно и неточно описание. Ако пукнатината я няма във вашия 
резен, това не значи, че въобще я няма. Все пак, ако разполагате само с един резен, това ще 
е всичко, което знаете за статуетката. Останалата част вие реално няма да виждате, но ще 
можете да си я представите. Затова е по-добре пукнатината да бъде описана като тримерен 
обект, който е част от една въображаема статуетка. 

Аналогично е със света и конкретния живот. Ако ние имаме само един живот и решим да 
опишем събитието на базата на този конкретен живот, тогава то би имало вида на булева 
функция. Ако събитието не се е случило през нашия живот, това не значи, че в този свят 
това събитие е невъзможно. Ако бяхме изживели живота си по друг начин, то събитието 
можеше да се случи. 

Затова ще дефинираме събитието като множество от стрелки в модела-генератор. (Ние 
предположихме, че съществува модел-генератор, който съвършено описва света.) 

Проблемът е, че този модел съвсем не е единствен. Има много модели, които са 
еквивалентни помежду си. 
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Минимални модели 

Дефиниция. Два модела на света ще наричаме еквивалентни, ако ни казват едно и също за 
миналото и за бъдещето. 

Тук не говорим за тривиална еквивалентност, където моделите са еднакви е точност до 
изоморфизъм. Ние ще разгледаме модели, при които състоянията занаят повече и такива, 
при които знаят по-малко. 

Минимален модел ще бъде този, при който състоянията знаят минималното. При тези 
модели две състояния ни казват едно и също за миналото т.т.к. (ЙТ) те казват едно и също 
за бъдещето. (Ако две състояния знаят едно и също за миналото и за бъдещето тези две 
състояния са еквивалентни.) 

Ако говорим за миналото, в минималния модел състоянията няма да „помнят“ нищо 
изли ш но. „Излишно“ е някакъв факт, от който не зависи бъдещето. Сами разбирате, че 
щом от този факт не зависи бъдещето, е излишно да го помним. (Това означава, че ако две 
състояния ни казват едно и също за бъдещето, то те ще казват едно и също за миналото, 
защото излишните факти не се „помнят“.) 

Аналогично, ако говорим за бъдещето, ще получим, че състоянията не знаят за бъдещето 
нищо което не следва от миналото. (Тоест, състоянието не може да знае нещо, което няма 
от къде да се знае.) Това означава, че ако две състояния ни казват едно и също за 
миналото, то те ще казват едно и също за бъдещето. (Ако възможните им развития на 
миналото съвпадат, то съвпадат и възможните им развития на бъдещето.) 

Кога може да се наруши минималността? Кога може едно състояние да знае повече? Има 
две възможни причини: 

Първата е недетерминираността. Когато тръгнем от началното състояние след няколко 
стъпки достигаме до множество от възможни състояния. (Ако множеството има и 
вероятности за различните състояния, тогава това се нарича ,,ЪеИеГ‘.) Ако в множеството 
има много състояния е различно бъдеще, тогава те знаят повече от минималното, защото 
ние знаем, че сме в едно от състоянията от „вярването“, но няма от къде да знаем в кое 
точно състояние сме. Ако знаем точно в кое състояние се намираме, тогава знаем за 
бъдещето нещо, което няма откъде да го знаем. 

Втората причина е когато имаме две състояния е различно минало, но е еднакво бъдеще. 
Тогава, ако ние знаем в кое от тези две състояния се намираме, ще знаем нещо излишно за 
миналото, нещо от което бъдещето не зависи. 

Ако детерминираме модела ще отстраним първата причина, а ако го минимизираме, ще 
отстраним втората. Тоест, минималният модел е детерминиран и минимизиран в двете 
посоки (по посока на стрелките и в обратна посока). 

В [5] разгледахме подробно въпроса за минималните модели. Пак в [5] описахме 
алгоритъм за намиране на минимален модел, при който от което и състояние да тръгнем 
(и в двете посоки) получаваме минималност и детерминираност. За съжаление алгоритмът 
в [5] е грешен. Може да се види, че отстраняването на недетерминираността напред води 
до недетерминираност назад и обратното и затова алгоритмът в [5] не работи. 


15 


В общия случай няма минимален модел, при който да можем да тръгнем от което и да е 
състояние. Все пак има минимален модел, при който ако тръгнем от текущото състояние 
напред ще имаме минималност и детерминираност. Също така, ако тръгнем назад, ще 
имаме същото. Този модел може да се получи на три стъпки: 

1. Построяваме модел, който е минимален и детерминиран тръгвайки от началното 
състояние напред. (Детерминираният модел в литературата е известен като ЬсНсГ МОР. 
Построяваме този модел и го минимизираме, като сливаме състоянията, които имат 
еднакво бъдеще. Т.е. сливаме състоянията, при които съвпадат множествата от възможни 
изходящи последователности от действия и наблюдения и тези последователности имат 
еднакви вероятности.) 

2. Построяваме обратния модел, който е единствен, ако нямаме бели върхове (ако имаме, 
тогава взимаме един от възможните обратни модели.). Детерминираме и минимизираме 
този модел (както направихме на стъпка 1). После от това, което сме получили правим 
обратен модел (така ще получим модел, който е детерминиран и минимален назад). 

3. Накрая сглобяваме от тези два модела един. За целта правим нови начални състояния на 
двата модела и съединяваме двата модела в новите състояния. 

Трите стъпки са илюстрирани в трите части на фигура 4. 



П§иге 4 


Гарантирано е, че бъдещето ще се определя единствено от първия модел, а миналото 
единствено от втория. Това е благодарение на факта, че направихме нови начални 
състояния. Така е гарантирано, че излезем ли веднъж от началното състояние повече не 
можем да влезем в него. (Тоест, първият модел е черна дупка, а вторият е бял връх.) 

Полученият по този начин модел е минимален в смисъл, че състоянията знаят възможно 
най-малкото, но не е минимален в смисъл, че състоянията са възможно най-малко на брой. 
Ако искаме да получим минимален модел, който е е най-малко състояния ще трябва да 
комбинираме двата модела и да използваме някои от състоянията и за миналото, и за 
бъдещето. 

В [5] говорихме за минимален модел в случая, когато нямаме вероятности на стрелките. 
Хубавото в този случай е, че от краен модел получаваме пак краен модел. Когато 
минимизираме МБР, тогава от краен модел може да получим безкраен. Причината за това 
е, че подмножествата на крайно множество са крайно много, но „вярванията“ са безкрайно 
много. (Тоест, минимизацията не намалява броят на състоянията, дори може съществено 
да ги увеличи.) 
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Кой ще е генераторът 

Предположихме, че съществува модел генератор, който съвършено описва бъдещето. 
Видяхме, че този модел не е единствен. В [5] видяхме, че имаме минимален модел където 
състоянията не знаят нищо излишно и че имаме максимален модел, където състоянията 
знаят всичко за миналото и за бъдещето. 

Бихме могли да допуснем съществуването на модели, в които състоянията знаят дори 
повече от тези в максималния модел. Какво повече от всичко, ще попитате вие? Биха 
могли да знаят някакви несъществени факти, от които не зависи нито миналото, нито 
бъдещето. Например „Има ли живот на Марс?“. Да допуснем, че отговорът на този въпрос 
е факт, от който не зависи нито миналото ви, нито бъдещето ви. В този случай това е един 
несъществен факт. Ще предположим, че нас несъществените факти не ни интересуват и 
затова няма да разглеждаме модели е такива факти. (Несъществените факти безсмислено 
усложняват модела. Например фактът „Има живот на Марс“ може да се представи като 
моделът се удвои. Ще получим два еднакви модела и ще сме в първия, ако има живот на 
Марс и съответно във втория, ако няма. Тоест, моделът ще знае отговора на този 
несъществен въпрос, но нищо няма да последва от това, защото в двата еднакви модела 
миналото и бъдещето са еднакви. Освен несъщественото удвояване на модела може да се 
получи и несъществено разклонение. Например, появява се живот на Марс и това в нашия 
модел съответства на едно несъществено разклонение. Ако тръгнем наляво, ще знаем че 
вече има живот, ако тръгнем на дясно, ще знаем че още няма. Това знание отново ще е 
несъществено, ако от него не следва нищо за миналото и за бъдещето ни.) 

Добре, нека да изберем генератора на базата на който ще дефинираме факт и събитие. 
Първият подходящ кандидат е минималният модел, но в този модел не се помни нищо 
излишно. Защо да не си позволим да помним излишни неща? Ние не знаем предварително 
кое е полезно и кое е излишно и затова помним много излишни неща. Например, в нашият 
свят е много важно да знаем кой е денят по модул 7, защото това са дните от седмицата. 
Никой обаче не се интересува кой е денят по модул 2, защото това в нашия свят е без 
значение. Все пак, нека не забраняваме да се помни кой е денят по модул 2, защото това в 
един момент може да вземе да се окаже полезно. 

Освен това, минималният модел не е единствен. Вярно, ако кажем „минималния модел, 
който има най-малко състояния“, тогава този модел ще е единствен, но състоянията му 
може да са доста много, защото минимизацията може да увеличи броят на състоянията. 
(Например, от краен модел чрез минимизация можем да получим безкраен.) При 
минималния модел състоянията знаят минималното, но това не значи, че броят им е 
минимален. 

По тези причини няма да изберем минималния модел. Дали да не вземем максималния? 

Не, защото този модел е твърде сложен. Началното му състояние е „ЪеНеГ‘ е континуум 
много състояния. През всяко едно от тези състояния минава една нишка, която съответства 
на един възможен живот. Ако вземем само един от възможните животи, тогава събитието 
ще е булева функция, но това, както казахме, не ни харесва. 

Затова решаваме да не казваме кой точно е генераторът. Нека да е някакъв генератор, 
който е между минималния и максималния модел. Събитието ще е подмножество от 
стрелките на този генератор. 
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Тази дефиниция е добра, защото ние няма да я използваме. Ние искаме да имаме формална 
дефиниция на понятието събитие и го определяме като част от стрелките на някакъв 
генератор. Не казваме, кой точно е този генератор, но предварително казахме, че ние 
генератора няма да го търсим. Затова нека да е, който и да е от генераторите. 

Това е уточнението, което ще направим към дефиницията на събитие дадена в [2]. Там се 
казва, че събитието е подмножество от стрелките на генератора, но не се уточнява кой 
генератор. Може би авторите на [2] предполагат, че генераторът е единствен, а това не е 
така. 


МОР моделите 

Недостатък на РОММ и на НММ е, че в тези модели действията на агента не се взимат под 
внимание. Възможно е светът да е такъв, че действията на агента въобще да не влияят на 
това какво ще се случи. Възможно е действията на агента да влияят, но моделът да описва 
някаква зависимост, която не зависи от тези действия. Тоест, РОММ и НММ може да са 
полезни, но в общия случай не са достатъчни. Ние бихме искали да имаме модел, който 
може да отчете действията на агента и затова преминаваме към следващите модели. Това 
са МОР моделите. 

Нека да отбележим, че става дума за РагйаИу оЪ8егуаЪ1е, а не за Ри11у оЙ8егуаЪ1е модели. 
Ние ще изпускаме определението РагйаИу оЙ8егуаЪ1е, защото ще смятаме, че когато не е 
казано дали е РагйаИу оЬ8егуаЬ1е или Ри11у оЬ8егуаЬ1е, то се подразбира РагйаИу оЬ8егуаЬ1е. 
Тук ние се различаваме от повечето автори, които смятат, че когато това не е казано, се 
подразбира Ри11у оЪ8егуаЪ1е. 

Разликата между НММ и МОР моделите е, че при НММ имаме само едно възможно 
събитие (това е събитието „истината“), а при МОР възможните събития са Е (действията 
на агента). 

Както при НММ така и при МОР моделите можем да дефинираме следата като конкретно 
наблюдение, което задължително виждаме в това състояние или като множество от 
възможни наблюдения, всяко от които има точно определена вероятност. Двете 
дефиниции са еквивалентни и затова при НММ избрахме първата, защото е по-проста, а 
при МОР ще изберем втората, защото тя дава модел е по-малко състояния. (При 
минималните модели ще предполагаме че следата дава точно едно наблюдение, защото ако 
дава няколко възможни наблюдения, това ще е недетерминираност, а характерна 
особеност на минималните модели е тяхната детерминираност.) 

Дефиниция: МОР шойе1 е следното: 

5 (множеството на състоянията) 

Тгасе: 5 х О М (вероятността да видим конкретно наблюдение в конкретно състояние) 
А§еп1:5 х Е —> Ш х Ш (Вероятността агентът да избере определено действие, по-точно 
интервалът, в който тази вероятност се намира. Този интервал винаги ще е [0,1].) 

У\/огМ: 5 х 2 х 5 —> № (вероятността за преход от едно състояние по дадено действие към 
друго състояние) 


]А/огМ(1 а\}) — Рг(5 п —) / 5 п - 1=1, а п - 1 —а) (вероятността за преход от състоянието /' към 
състоянието / при действието о) 


18 


Тук 5 п е състоянието на и-тата стъпка, а а п е действието на и-тата стъпка. 

В дефиницията функцията А§еп1е напълно излишна. Не ни трябва функция, която винаги 
връща интервала [0, 1]. Защо ни е функция, която е константа? Добавихме тази функция, 
само заради двата варианта на МОР модела, които ще направим (МОР Р1хеб и 8МОР). В 
тези варианти тази функция няма да е константа. 

В дефиницията не сме сложили геууагсВ и сйхсоиШ Гас1ог, но както обяснихме по-горе, те са 
нещо, което за момента не ни трябва. 

Забележка. Важно е да се отбележи, че за всеки свят съществува МОР модел, който го 
описва еднозначно и напълно. Тоест има съвършен МОР модел. Може да няма краен МОР 
модел, но безкраен МОР модел задължително има. Това означава, че можем да 
предполагаме, че света има модел генератор и този модел е МОР. (Същото може да се 
каже за НММ, ако ограничим световете до такива, в които действията на агента не влияят 
на света.) 


Свободна воля и ограничение 

МОР моделът е съвършен, защото той ни казва всичко за бъдещето, при условие че знаем 
каква стратегия ще следва агентът. Защо МОР моделът не фиксира стратегията на агента? 
Защото предполагаме, че агентът не е част от света и че той има свободна воля (тоест, 
може да прави каквото си поиска), докато светът е ограничен от някакви правила, които 
определят точно какво ще направи (определят с точност до някаква вероятност). 

Тоест, ние предполагаме, че агентът има свободна воля, а светът няма. Ако предположим, 
че вие сте задължен да хвърлите монета и да завиете наляво или надясно според това, 
какво покаже монетата, това означава, че вие нямате свободна воля, а сте длъжен да се 
подчините на монетата. 

Нека си мислим, че агентът и светът са двама играчи, които играят една игра или че са два 
субекта, които си беседват. Тогава ще забележим, че в МОР модела тези два субекта не са 
равноправни. Агентът може да прави каквото си поиска докато светът е задължен да 
изпълнява една определена стратегия. Агентът може да избере всеки един от възможните 
ходове с каквато си поиска вероятност (тоест с вероятност в интервала [0, 1 ]), докато 
светът за всеки възможен ход има точно определена вероятност и трябва да избере този 
ход точно с тази вероятност. Тоест, агентът има свободна воля, а светът е ограничен до 
една единствена стратегия. 

Може напълно да сте лишен от свободна воля и да сте длъжен да изпълнявате една точно 
определена стратегия. Има и друг вариант. Може да имате свободна воля, но тя да е 
ограничена в някакви граници. Тоест, да можете да избирате стратегията си в някакви 
граници. 

Дефиниция. Ограничение на агента ще наричаме функция, която на всяко състояние и 
възможно действие ни дава интервал, в който се намира вероятността това действие да 
бъде извършено от агента. 


СопзЬгатЬ: 5 х Е —> М х М 
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Напълно свободна воля имаме когато интервалът е [0,1]. Свободната воля липсва 
напълно, когато интервалът е с дължина нула (тоест, когато вероятността е точно 
определена). 

Аналогично на стратегия на агента можем да дефинираме стратегия на света: 

Дефиниция. Стратегия на света ще наричаме функция, която за всяко състояние, действие 
и ново състояние ни дава вероятността светът след това действие на агента да премине в 
новото състояние. 


РоНсу: 5 х У х 5 —> М 

Аналогично на ограничение на агента можем да дефинираме ограничение на света. 
Функциите А§еШ и ХУогк! от дефиницията на МОР са съответно ограничението на агента и 
стратегията на света. 

Може ли светът да има свободна воля? Представете си, че вътре в света живее един друг 
агент, който има свободна воля. Действията на този друг агент ще се проявят в 
поведението на света. Дори този друг агент да може да прави каквото си поиска, това не 
значи че светът ще прави каквото си поиска. Може светът да има известна свобода, но да 
си остане ограничен от някакво ограничение. 

Когато говорим за света може вместо „свободна воля“ да кажем „непрогнозируема 
случайност“. В някои случаи знаем точно какво ще се случи. Понякога, не знаем точно 
какво ще се случи, но знаем с каква вероятност това може да се случи. Ако не знаем дори и 
вероятността, с която това може да се случи, тогава имаме непрогнозируема случайност. 
Например, ако в света живее един агент, който прави каквото си поиска, то какво ще 
направи този агент е непрогнозируема случайност. 


Варианти 

Сега ще разгледаме вариант на МОР, при който и светът, и агентът са задължени да 
следват определена стратегия. Тоест, и двамата нямат свободна воля. Този модел ще 
наречем МОР РЪсеб. Единствената разлика с МОР ще бъде това, че функцията А§епС няма 
два връща интервалът [0,1], а ще връща конкретна стойност (тоест, ще връща интервал с 
дължина нула). МОР Р1хеб моделът също е съвършен, защото казва всичко за бъдещето. 

Ще разгледаме друг вариант на МИР, при който свободна воля ще имат и светът и агентът. 
Тук функцията А§еп1 ще връща интервала [0,1] или стойностите 0 или 1 (за случаите 
когато действието е невъзможно или когато има само едно възможно действие.) 
Аналогично, функцията ]А/огШ няма да връща конкретна стойност, а и тя ще връща 
интервала [0,1] или стойностите 0 или 1 (за случаите когато прехода е невъзможен или 
когато има само един възможен преход.) Този вариант ще наречем ЗШе тасЬте бесшоп 
ргосе§8 (8МОР). Така ще го наречем, защото той много прилича на Рюпбе1ептт§йс Гтйс- 
<Да!с тасЬте ШР8М). Разликата е, че при КР8М се предполага, че състоянията са крайно 
много, докато при 8МОР такова предположение не правим. Друга разлика е, че при №8М 
имам два вида състояния (йпа1 апб по! Л па1) докато при 8МОР има много видове 
състояния. (Ако във всяко състояние виждаме конкретно наблюдение, тогава видовете 
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състояния са О. Ако във всяко състояние виждаме няколко наблюдения е различна 
вероятност, тогава видовете състояния са безбройно много). Основната прилика между 
ОТЗМ и 81УЮР е, че и в двата случая не пишем вероятности върху стрелките. При ЗМОР 
вероятността е интервала [0, 1] или 1 (в зависимост от това има или няма 
недетерминираност) . Тоест, при ЗМОР вероятността е ясна и затова не се пише. (По-точно 
и двете вероятности на стрелката са ясни и затова не се пишат.) 

ЗМОР моделът не е съвършен, но ние ще го наречем полу-съвършен. 

Дефиниция. Полу-съвършено описание на бъдещето ще наричаме множеството РиШге 
всеки един от елементите, на което има вида <а>, [а, Ь]>, където шпробягва възможните 
развития на бъдещето, а [а, Ъ] е най-малкият възможен интервал, в който се намира 
вероятността това развитие да се случи ([а, Ъ] ^ [0, 0]). 

Дефиниция. Полу-съвършен модел ще бъде този, който ни дава полу-съвършено описание 
на бъдещето. (Тук не ограничаваме стратегията на агента, освен ако моделът не налага 
такова ограничение.) 


МОР Р1и5 

Ще обобщим МОР и неговите два варианта. Ще получим един модел, който ще наречем 
МОР плюс свободна воля и непрогнозируема случайност (за по-кратко МОР Р1и$). 

В този модел и светът и агентът имат свободна воля, но тя не е неограничена (т.е. 
поставена е в някакви граници). 

Дефиниция: МОР Р1и§ тобе1 е следното: 

5 (множеството на състоянията) 

Тгасе: 5 х Р2 —> М (вероятността да видим конкретно наблюдение в конкретно състояние) 
А§еп1: Б х Е —> Ш х Ш (Вероятността агентът да избере определено действие, по-точно 
интервалът, в който тази вероятност се намира.) 

]А/огШ :5хЕх5—>Шх№ (Вероятността за преход от едно състояние по дадено действие 
към друго състояние, по-точно интервалът, в който тази вероятност се намира) 

Разликата между МОР и МОР Р1и§ е, че при МОР на всяка стрелка съответства по една 
вероятност, а при МОР Р1и§ на всяка стрелка съответстват по два интервала. При МОР 
първият интервал не се пишеше, защото той винаги беше интервалът [0, 1]. Вторият 
интервал при МОР е е дължина нула и затова се пишеше само едно число. 

МОР Р1и§ моделът е полу-съвършен. Той е обобщение на МОР модела. При него 
съвършенството се нарушава, защото тук сме дали известна свобода на света. Тоест, 
светът не е задължен да следва конкретна стратегия, а може да си избира стратегията в 
рамките на някакво ограничение. 


Предпочитание 

Повечето автори, когато говорят за стратегия, имат предвид, че агентът може да си избере 
която си поиска стратегия. В тази статия говорим освен за стратегия на агента и за 
стратегия на света. Естествено е да предполагаме, че агентът може да си избере 
действието, което ще извърши, но не е естествено да предполагаме, че агента може да 
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избере поведението на света. От друга страна не е естествено да предполагаме, че агента 
няма никаква възможност да влияе на поведението на света. 

По-ясни ще станат нещата, когато заменим действията на агента с произволни събития. 
Естествено е да предполагаме, че агентът може да избере своето действие, но не и че може 
да избере какво ще е следващото събитие, което ще се случи. 

Дори и за действията на агента не е съвсем естествено да предполагаме, че агентът ги 
контролира напълно. Например, „завършвам университета“ или „уцелвам десетката, при 
игра на дартс“. Тези действия не са напълно под наш контрол. Затова е по-добре да кажем, 
кое е нашето предпочитание, а не какво точно събитие ще се случи или кое действие ще 
извършим. 

Какво е предпочитание? Имаме някакво ограничение, което ни дава моделът и вътре в това 
ограничение имаме една непрогнозируема случайност. Например, моделът ни казва, че 
вероятността за дъжд е задължително над 10% и под 80%. Тоест, моделът казва, че по 
никакъв начин не можем да свалим вероятността за дъжда под 10% и да я качим над 80%. 
Моделът ни казва кой е интервалът, но не ни казва точната вероятност. Ние може да имаме 
някакво предпочитание. Може да предпочитаме да вали и да полее реколтата или да не 
вали и да отидем на плаж. Нашето предпочитание може по някакъв начин да повлияе на 
вероятността. Ние може да извършим действия, които да променят вероятността в посока 
на нашето предпочитание. Например, може да направим молитва за дъжд или да 
изстреляме метеорологични ракети, които да предизвикат дъжд. 

Това, че предпочитаме нещо да се случи, това не значи, че то ще се случи. Понякога дори е 
обратното. Колкото повече искаме нещо да се случи, толкова по-малко вероятно е то да се 
случи. Ние ще влияем на събитията чрез нашите предпочитания. Колко можем да влияем 
зависи от това доколко е нашата власт. Ако нашата власт е абсолютна ще наречем 
предпочитанието „шефско“. Например, ако шефското предпочитание е да вали, то ще вали 
е вероятност 80% (максималната вероятност, която моделът позволява). Ако шефското 
предпочитание е да не вали, то ще вали е вероятност 10% (минималната вероятност). 

Предпочитанието няма да е част от модела. Имаме модел, който ни казва какво може да се 
случи и предпочитание, което казва какво ние предпочитаме да се случи. 

Дефиниция. Предпочитание за действието ще наричаме функция, която за всяко 
състояние ни връща списък от предпочитаните действия. Действията в списъка са 
наредени от най-желаното към най-нежеланото. 

Рге/егепсе : 5 ->ЬШ(Е) 

Предпочитанието за действието ще ни даде една детерминирана стратегия (играем най- 
предпочитания ход). Това е, ако нямаме ограничение на действието. Ако имаме 
ограничения, тогава ще получим една недетерминирана стратегия, която ще е шефското 
предпочитание. Т.е. ако ограниченията са [аь Ъ 1 ], [а 2 , Ьг],... тогава играем първия ход е 
вероятност Ь], втория е вероятност ( 1 -Ъ 1 ).Ъ 2 и така нататък. 


По аналогичен начин можем да дефинираме „предпочитание за реакцията на света“ и 
„предпочитание за следващото събитие“. 
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Обратен МОР Ииз 

Можем ли да обърнем МБР Р1и§ модела и да получим МБР Р1и8 модел, който да 
предсказва миналото? Отговорът е, че можем. Пак ще предположим, че нямаме бели 
върхове, защото в противен случай обратния МОР Р1и§ модел няма да е единствен. 

Обръщането ще стане по същия начин по който обърнахме РОММ. Ще започнем от 
обръщането на МОР Р1хес1. Там вероятността на всяка стрелка напред е фиксирана. Като го 
обърнем вероятността на всяка стрелка назад пак ще е фиксирана (без бели върхове). За 
всяко състояние и стрелка влизаща в него ще имаме фиксирана вероятност от тази стрелка 
да сме влезли. Тази вероятност трябва да се раздели на две вероятности (първата — да 
имаме това конкретно действие и втората — да е точно тази стрелката при това действие). 
Това разделяне е тривиално. Така ще получим МОР РЬсеб модел. Тоест, обратния на МОР 
Р1хес1 модел пак ще бъде МОР РЪсеб модел. 

Ако обърнем МОР Р1и§ модел, тогава вероятностите на стрелките няма да са точни 
стойности, а ще са интервали. Как да получим интервалите от вероятности на стрелките в 
обратна посока? При МИР Р1и§ агентът и светът имат много възможни стратегии. За всяка 
стрелка от всичките тези стратегии ще изберем тези при които тази стрелка най-рядко се 
използва. Така ще получим минимума. Максимума ще го получим като изберем тези 
стратегии, при които най-често се използва тази стрелка. Така за всяка стрелка ще получим 
интервал от вероятности. Как се разделя този интервална два интервала? Отново, това е 
тривиално. 

Интересното е, че обратния на МОР модела не е МОР модел (има обратен, но той е МОР 
Р1и§ модел). Това е причината, поради която другите автори при МОР не разглеждат 
обратния модел, който предсказва миналото. Нека агентът има напълно свободна воля, а 
светът е ограничен да спазва една точно определена стратегия (това е МОР модела). 

Тогава като обърнем стрелките получаваме агент, който има някакви ограничения и свят 
който има известна свобода (тоест получаваме МОР Р1и8, а не МОР модел). 


Свойството на Марков 

Следващата ни стъпка ще е да се откажем от свойството на Марков. Тоест, ще се откажем 
от свойството, че моделът не може да бъде подобрен. По този начин ние напълно ще се 
откажем от съвършенството и полученият модел няма нито да е съвършен, нито да е полу- 
съвършен. 

При РОММ ние вече показахме, че ако имаме свойството на Марков, тогава моделът не 
може да се подобри. Това свойство предполага, че всички факти, които са съществени за 
миналото и за бъдещето са отразени (запомнени). Тоест, няма нищо, което да си струва 
допълнително да се запомни. Всичко, което си е струвало да се помни, вече сме го 
запомнили. Ако имаше такъв факт, бихме могли да подобрим модела, като добавим този 
факт към запомнените (това ще го направим като увеличим броя на състоянията). 

Отказвайки се от свойството на Марков ние преминаваме от модел-генератор към модел- 
дескриптор. Вече не казваме всичко за света, а даваме само някакви статистически 
зависимости, които частично го описват. Например, ако знаете, че „понеделник“ се случва 
с вероятност 1/7, това е полезно да се знае, но от това не следва, че денят след „неделя“ е 
„понеделник“. 
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Еуеп1;-(1пуеп модел 

Сега ще направим най-важното обобщение. Ще заменим действията на агента е 
произволни събития. Това ще бъде най-същественото отказване от съвършенството, 
защото вече няма да следим действията на агента, които се случват на всяка стъпка, а ще 
следим някакви по-епохални събития, някои от които може да се случват много рядко. 
Моделът вече няма да променя състоянието си на всяка стъпка (при всяко действие), а 
само когато се случи някое от събитията, които моделът следи. 

Така получените сусгй-йпусп модели ще описват света много грубо, като казват само 
някои неща за наблюдаваните събития и нищо повече. Например, такъв модел може да ни 
каже дали сме вечеряли и после сме си измили зъбите или обратното. Това е важна 
информация, но в нашия свят има още много други неща, които този модел няма да отрази. 

Дефиниция: Еуепйбпуеп то<М е следното: 

Е (множеството на състоянията) 

Е (множеството на събитията, които моделът следи) 

Тгасе : Е х О М (вероятността да видим конкретно наблюдение в конкретно състояние) 
ЕуеМ: 5 х Е —> Ш (Вероятността определено събитие да се случи.) 

\УогШ : 5 х Е х 5 —> М (Вероятността за преход от едно състояние по дадено събитие към 
друго състояние) 

Тук следата все още е съвършена. По-долу ще я обобщим и ще я направим несъвършена. 

За да опростим дефиницията сме сложили функциите ЕуепЬ и ШогШ да връщат 
вероятност, а не интервал. Всъщност, в повечето случаи ще предполагаме, че тази 
вероятност не ни интересува, а ще гледаме само дали това може или не може да се случи 
(т.е. в повечето случаи функциите ще връщат интервала [0, 1] или стойностите 1 или 0). 

При МОР модела описваме само света без да казваме нищо за агента (тоест оставяме го да 
прави каквото си иска). При МОР Р1хеб и при МОР Р1и§ налагаме известни ограничения 
върху действията на агента. При еуегИ-бпусп модела описваме света заедно е агента. 

Идеята е, че ние сме част от света и когато изучаваме света, ние изучаваме и себе си. Ако 
едно събитие е невъзможно, причината за това може да е светът, а може причината да сте 
вие (агентът). Ако нещо не може да се случи, това може да е защото светът не го 
позволява, а може да е защото вие (агентът) не искате това да се случи или искате, но не 
можете. 

Еуеп(-с1пуеп моделът е доста по-недетерминиран от МИР модела. Действията на агента са 
събития, които не се пресичат (не могат да се случат едновременно), докато събитията 
наблюдавани от еуеШ-йпуеп модела спокойно могат да се случват едновременно. Когато 
това се случи, трябва да изберем по коя стрелка ще тръгнем. Тоест, имаме още една 
причина за недетерминираност. Освен няколко стрелки е еднакъв цвят може да имаме 
стрелки е различен цвят, но да не е ясно по коя трябва да тръгнем, защото и двете събития 
са се случили в този момент. Може сусп1-с1пусп моделът да избегне тази допълнителна 
недетерминираност, като определи приоритет на събитията и по този начин да разреши 
подобни колизии. Също така може в такива случай да се използват и двете стрелки като се 
премине последователно първо по едната, после по другата (така ще се отчете 
настъпването и на двете събития). Разбира се, в този случай трябва да се уточни по коя от 
двете стрелки първо ще се тръгне. 


24 


Не трябва да си мислим, че при суеШ-бпуеп модела, ние точно знаем в кое текущо 
състояние се намираме. Поради недетерминираността на модела ние обикновено няма да 
знаем отговора на този въпрос, а ще го знаем е някаква вероятност. Затова често ще си 
задаваме въпроса „Къде съм?“ или „Какво се случва в момента?“ Тези въпроси може да ги 
сведем до въпроса „В кое от състоянията на модела се намирам?“ 


Какво е следата? 

Следата е това, което отличава различните състояния. Един модел без следа е безсмислен. 
Представете си, че всичко е сиво. Тогава има ли значение в кое състояние сме? 

Следата има две функции. Тя ни дава смисъл, като ни казва какво очакваме да се случи, но 
тя още ни помага да разберем къде сме. (Помага ни да разберем кое е текущото състояние. 
Това е нужно при недетерминизъм.) Тоест, следата е съществена част от дефиницията на 
модела. Можем да променим само следата, като запазим всичко друго и по този начин да 
получим съвсем различен модел. 

Като пример нека вземем свят, в който имаме едно действие и две възможни наблюдения 
(„червено“ и „синьо“). Нека вземем модела изобразен на фигура 5. 



Ндиге 5 


В този модел не сме сложили вероятности на стрелките. Предполагаме, че не знаем каква е 
вероятността, тоест предполагаме, че вероятността е в интервала [0,1]. Това означава, че 
този модел не е ЛШР, а е МИР Р1и§. 

Този модел не ни казва нищо за света. Той дори не ни казва кое е текущото състояние, 
макар че това можем да го разберем по това дали в момента виждаме „червено“ или 
„синьо“. По-важно е какво ще се случи в бъдеще или какво се е случило в миналото, а това 
са въпроси, по които този модел мълчи. 

Все пак, този модел е интересен. Той е недетерминиран, но ако знаем какво ще видим на 
следващата стъпка, ние можем точно да кажем в кое състояние ще сме и обратното. Тоест, 
има две неща, които ни интересуват и от първото можем да получим второто, както и 
обратното, но няма никакъв начин да научим нито първото, нито второто. Това все пак 
означава, че моделът е безполезен. 

Нека да променим света и наблюденията ни да станат {1, 2, 3, 4}. Нека следата да не е 
„червено“ или „синьо“, а да стане „четно“ или „нечетно“. (Тази следа е по-обща и излиза 
извън дефиницията на МОР Р1и§, която дадохме, но по-надолу ще разгледаме и по-сложни 
варианти за следа.) 
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Получаваме нов модел, който ще е в състояние 1 точно тогава когато (Ш) наблюдението е 
четно. Добре, нека да променим следата и тя да стане „по-малко от 3“ или „по-голямо от 
2“. Така ще получим съвсем друг модел, където състоянието не се определя от четността 
на наблюдението, а от това дали е голямо или малко. 

Несъвършена следа 

Нека сега обобщим следата на модела и да се откажем от нейното съвършенство. 
Съвършената следа е тотална и пълна. Тотална означава, че във всяко състояние нещо се 
случва. Пълна означава, че знаем точно какво се случва. След това обобщение следата вече 
няма да е навсякъде (във всяко състояние) и няма да казва точно какво ще се случи. 

Пълна следа имаме, ако знаем точно какво ще видим в състоянието. Също така, пълна 
следа имаме, ако имаме няколко възможности и за всяка възможност имаме точно 
определена вероятност. Пълнотата може да се наруши, ако вместо точно определена 
вероятност предположим интервал (тоест, ако допуснем известна непрогнозируема 
случайност). Ако разрешим интервали това ще покрие следата „четно“, която използвахме 
по-нагоре. В този случай „четно“ ще бъде 2 или 4, всяко е вероятност в интервала [0,1]. 
Тоест, при „четно“ не знаем дали наблюдението е 2 или 4, но важното е че не е 1 и не е 3, 
защото за тях вероятността е 0. 

Заменяйки точните вероятности е интервали ние вече можем да кажем почти всичко за 
следата, която се случва за една стъпка (за един момент от времето). При МИР моделите 
ние стоим в състоянието само една стъпка след което се случва поредното действие и 
преминаваме към следващото състояние. Ние създадохме сусп1-с1пусп моделите където 
вече не стоим в състоянието само една стъпка, а стоим известен период от време (докато се 
случи поредното наблюдавано събитие). Тоест, следата вече няма да ни казва какво се 
очаква да видим в един момент от времето, а какво се очаква да видим в един интервал от 
време. Когато говорим за интервал, можем да кажем много повече неща, отколкото можем 
да кажем, когато говорим за една точка. (Например, можем да кажем, че в интервала 
наблюдението е едно и също и не се променя.) 

Най-интересното, което можем да кажем за един интервал от време е, че в този интервал 
ще се наблюдава някакво явление. Първо да кажем какво е явление. 

Явление 

Въведохме сусЩ-йпусп моделите, които не са съвършени и не ни казват всичко, а описват 
само някаква зависимост (схема). Въпросът е дали тази зависимост се наблюдава 
непрекъснато или само от време на време. Да вземем зависимостта от фигура 6. 


Зипзе! 



Е1§иге 6 
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Тази зависимост се наблюдава непрекъснато, защото във всеки един момент или е ден или 
е нощ. Да предположим, че тръгнем на път към планетата Марс. Тогава слънцето ще грее 
непрекъснато и ще излезем от схемата ден-нощ. Тоест, има зависимости, които се 
наблюдават непрекъснато, но повечето зависимости не са такива. 

Дефиниция. Явление ще наричаме еуепЕбпуеп модел, който не е валиден непрекъснато 
(през целия живот), а само през определени интервали от време. 

Например явлението буря. Ако можем да опишем това явление е еуеЩ-бпуеп модел, то 
този модел няма да е валиден непрекъснато, а само когато има буря. 

Ако вземем едно конкретно наблюдение от О, то това също е явление, защото лесно 
можем да построим сусп1-с1пусп модел, при който постоянно се наблюдава само това 
наблюдение. (Тоест, наблюдаваме това наблюдение т.т.к. (ЙТ) е валиден този модел.) 

Следата на един еуеп1-с!пуеп модел можем да опишем е някакви явления (тоест с други 
еуепйбпуеп модели). Следата може да бъде, че в едно състояние явлението ще се 
наблюдава (или че може да се наблюдава, или че е определена вероятност ще се наблюдава 
и т.н.). 

Следа с памет 

Казахме, че заменяйки точните вероятности с интервали можем да кажем почти всичко за 
следата, която се случва в една стъпка. Има обаче неща, които не можем да кажем. Нека 
следата да има памет и да помни последното наблюдение в това състояние. Нека новото 
наблюдение в това състояние да е е голяма вероятност същото като предишното. 

Като пример нека вземем една къща като модел на света. Нека стаите са състоянията на 
модела. Събитието ще бъде „преминавам от една стая в друга“. Нека в някои стаи лампата 
да свети, а в други да не свети. Това дали свети лампата ще е паметта на следата. Когато се 
връщаме в стая, в която лампата е светила, то тя вероятно пак ще свети, освен ако някой не 
я е загасил. 

Обектите също са нещо, което трябва да го помним. Появата на обект е явление. 

Естествено е в някои състояния обектът да го има, а в други да го няма. Нека пак вземем 
къщата като пример за модел на света. Нека вътре има неподвижни обекти като мебелите и 
хора, които се движат от стая в стая. Тогава за мебелите няма нужда да помним къде са в 
момента, защото те не се движат. Тоест, мебелите можем да сложим в постоянната си 
памет (в следата на модела), а хората трябва да ги сложим в динамичната памет (в паметта 
на следата) и да помним във всеки момент кой къде е. Тоест, паметта на следата няма да е 
част от модела. Ще имаме постоянна памет, в която се помни моделът и динамична памет, 
в която се помни текущото състояние на модела и паметта на следата (в коя стая сме и 
къде са подвижните обекти). 


Обект 

Какво е обект? В [6] дефинирахме обект като сусп1-с1пусп модел. Тоест, явлението 
„наблюдавам обекта“ го асоциирахме е обекта. 
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Тук ще променим дефиницията на обект. Ще заимстваме от [3], където обектът се описва 
като нещо абстрактно, което се характеризира с някакви свойства. 

Дефиниция. Свойство ще наричаме явление, което се случва, когато наблюдаваме обект 
от групата обекти имащи това свойство. 

Тоест, свойството ще бъде сусгИ-йпусп модел, докато обектът ще бъде абстрактно понятие, 
което се характеризира с някакви свойства. 

Дали два обекта, които имат еднакви свойства, съвпадат? Отговорът е не. Да вземем като 
пример двама братя близнаци. Този пример не е много добър, защото братята не са съвсем 
еднакви, поне имената им са различни. Да вземе като пример два еднакви кухненски стола. 
Нека столовете са съвсем еднакви и ние да не можем да ги различим. Въпреки това, това са 
два различни обекта. 


По-малко състояния 

Да се върнем към нашата първоначална цел, която беше да намалим броя на състоянията 
на модела. Ние създадохме еуеШ-бпуеи модела, който описва света грубо, без да казва 
всичко и който ще има много по-малко състояния от модела-генератор. 

Има ли връзка между модела-генератор и еуепТбпуеп модела? Отговорът е да, можем да 
представим еуепТбпуеп модела като фактор множеството на някой модел-генератор 
спрямо някоя релация на еквивалентност. 

Какъв трябва да е този модел-генератор, за да може да го разбием на класове на 
еквивалентност така, че да получим еуепТбпуеп модела? Грубо казано в този модел- 
генератор състоянията трябва да „знаят“ достатъчно. Ако състоянията на с\'еп1-с1пуеп 
модела „знаят“ нещо което не знаят състоянията на модела-генератор, тогава ще има 
състояние на модела-генератор, което трябва да бъде едновременно в два различни класа 
на еквивалентност. 

Точното изискване за модела-генератор е следното: Множеството на стрелките на модела- 
генератор трябва да съдържа всички наблюдавани от сусШ-йпусп модела събития. Това 
обаче не е достатъчно. Трябва още събитието „минавам от един клас на еквивалентност в 
друг“ да бъде покрито от наблюдаваните събития (т.е. да бъде подмножество на 
обединението на наблюдаваните събития). Ако това събитие не е покрито, тогава ще може 
да преминем от едно състояние в друго без да се е случило никое от наблюдаваните 
събития. 

По много сложен начин описахме изискванията си към модела-генератор, но тези 
изисквания не са важни, защото ние този модел няма да го търсим. Ние директно ще 
търсим сусгИ-йпусп модела, но ще знаем, че всеки такъв модел може да се представи като 
фактор множество на някой модел-генератор спрямо релацията на еквивалентност „двете 
състояния отговарят на едно и също състояние на еуепТбпуеп модела“. 


Теорема 2. За всяко събитие Е съществува еуепТбпуеп модел, който наблюдава това 
събитие. 
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Доказателство: Ще постоим еуеийбпуеи модел с две състояния, който описва факта, че Е 
се е случило четен брой пъти. Ще вземем модел-генератор, който съдържа събитието Е 
(такъв модел има, защото така дефинирахме събитие). Този модел в общия случай не 
можем да го разбием на класове на еквивалентност разделени от Е, но ние ще построим 
друг модел-генератор. 

Аналогично като при доказателството на Твърдение 1 ще построим модел еквивалентен на 
първия като удвоим състоянията му. Всяко състояние 5; ще заменим е 5- и з ". Всяка 
стрелка з^ 5у ще заменим е две стрелки: 


з[ —>з" и 5 " —> з- , ако ( 5 ( —>3]') е Е 
з- —> з и з" —> з” , ако (5( —>5]') е Е 


Двата класа на еквивалентност ще бъдат множествата 5'и 5", където 5' = (5 | 31 : 5 = 5- } 
и аналогично 5". 

I 

Разбира се, съществува не един, а много сусгИ-йпусп модели, които наблюдават събитието 
Е. 

Показахме каква е връзката между модела-генератор и еусп1-с1пуеп модела. Ние можем да 
получим с\'еп1-с1пуеп модела като фактор множество от някой генератор, но ние няма да 
тръгнем по този път, а ще го постоим директно използвайки реални събития. 


Реални събития 

Когато търсим сусп(-с1пусп модел ние трябва да си изберем няколко събития, които ще са 
наблюдаваните събития в този модел. Трябва да дефинираме тези събития по някакъв 
начин и да се научим да ги откриваме (да отчитаме когато се случват). 

Казахме, че няма да търсим модел-генератор и да го разбиваме на класове на 
еквивалентност. Вместо това ние директно ще търсим сусЩ-йпусп моделите. За целта 
трябва да се научим да откриваме събития. Няма да използваме теоретичната дефиниция 
на събитие, която е неприложима в практиката. Вместо това ние ще търсим събитията по 
два начина - пряко и косвено. 

Пряко ще ги откриваме е характеристична функция, а косвено ще ги откриваме чрез 
следата (тоест, по това което се случва, ще заключим, че сме преминали в друго състояние 
и оттам, че се е случило събитие). 

Прякото откриване ни дава точния момент, в който събитието се е случило и ни дава 
възможност да описваме модели с примки (тоест, може да се случи събитие без да се 
променя състоянието). При косвеното откриване точния момент на настъпване е по-трудно 
да се определи, защото това че се променя следата може да се забележи веднага, а може и 
след няколко стъпки. Освен това при косвеното откриване не можем да забележим примка, 
защото когато състоянието остава същото и следата е същата. 

При прякото откриване си избираме една характеристична функция и започваме да търсим 
следа. Тоест, предполагаме, че знаем кога събитието се е случило и се опитваме да 
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открием периоди от време преди и след настъпването му, които по някакъв начин да са 
специфични (т.е. нещо специално да се случва в тези периоди). 

При косвеното търсене е обратното. Първо търсим специфични периоди. Тези периоди 
асоциираме е различни състояния на сусп(-с1пусп модела и търсим събития, които да се 
случват на границата на тези периоди (т.е. търсим характеристични функции). Не е 
задължително да намерим характеристична функция, която да опише прехода. Може 
нашето събитие да си остане „невидимо“, т.е. такова което да може се забележи само 
косвено. 


Характеристична функция 

Класическата характеристична функция връща стойностите 0 и 1. Тук ние ще приемем, че 
тя връща вероятност, защото би било твърде ограничително да разглеждаме само 
характеристични функции, които точно да ни казват дали едно събитие се е случило или 
не. Предпочитаме функцията да може да каже, че събитието се е случило е някаква 
вероятност. 

Ще предполагаме дори, че характеристичната функция връща вероятностен интервал. 
Например, ако тя ни казва, че събитието се е случило е вероятност по-голяма от 1/2, 
тогава тя ще ни върне интервала [1/2,1]. Ако характеристичната функция нищо не може 
да ни каже, тогава тя ще върне интервала [0, 1]. 

Какъв ще бъде аргументът на характеристичната функция? От какво ще зависи дали 
събитието се е случило? Аргументите ще са възможно развитие на миналото (такова, което 
се е случило) и възможно развитие на бъдещето (такова, което ще се случи). 

Защо избрахме характеристичната функция да зависи от миналото и от бъдещето? Не е ли 
по-добре да зависи само от миналото? Действително, ние предпочитаме, когато събитието 
се случи, ние вече да знаем, че то се е случило. Тоест, предпочитаме характеристичната 
функция да зависи само от миналото, но често се случва да имаме събитие, за чието 
настъпване научаваме по-късно (някъде в бъдещето) и затова дефинираме 
характеристичната функция да зависи и от миналото и от бъдещето. 

Какво ще правим, ако за два различни интервала от време характеристичната функция ни 
връща различни стойности? Ще предположим, че стойността от по-големия интервал е по- 
достоверна. Може дори да предположим, че когато интервалът от време се увеличава, 
характеристичната функция се уточнява (вероятностният интервал се свива). Това 
последното няма да го предполагаме, защото понякога, когато получим повече 
информация ние вместо да станем по-уверени, ставаме по-неуверени. 

Пример за характеристична функция е тази, която описва едно от действията на агента. 
Тази функция ще гледа единствено кое е следващото действие на агента и ще върне 1 или 
0 в зависимост от това дали действието е било това или някое друго. Тоест, събитията на 
МОР модела могат да се опишат е характеристични функции. 
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Заключение 

Идеята на тази статия е, че светът не може да бъде разбран напълно и че ако искаме да 
построим модел, ние трябва да се откажем от съвършенството и да търсим прости модели, 
които описват света частично. 

Друга идея на статията е, че един единствен прост модел не може да ни каже всичко за 
света и затова ние ще трябва да търсим много различни модели, всеки от които описва 
част от света (някаква зависимост, свойство или явление). Разбира се, многото прости 
модели, които ще намерим, пак няма да ни кажат всичко, но се надяваме да ни кажат 
достатъчно. 

Ние въведохме еуепБбпуеи моделите. Това са моделите, които описват малка част от 
света. Пример за такъв модел е даден на фигура 6. Единственото, което този модел ни 
казва, е дали е ден или нощ. Това е важна информация, но тя е съвсем недостатъчна, за да 
разберем целия свят, защото в света освен това дали е ден или нощ има още много други 
важни неща. 

Както казахме, на базата на сусгЧ-йпусп моделите ние ще опишем различни зависимости, 
явления и свойства. По-нататък, на базата на тези явления и свойства ние ще създадем 
абстракции каквито са обектите и агентите. Както казахме, свободната воля на света си я 
обясняваме е агенти, които живеят в този свят. Когато в света има човек, за него ще си 
мислим като за обект и като за агент. Той е обект, когото можем да наблюдаваме и агент, 
чиито действия можем да забележим. 

Казахме, че вместо един съвършен МИР модел ще търсим много простички суегЧ-йпуеп 
модели. Колко простички ще са тези модели? Броят на наблюдаваните от модела събития 
обикновено ще е в порядъка на едно-две. Броят на състояния на суеп1-с!пуеп модела ще е в 
порядъка на десетина. Въпросът е, как е толкова прости модели ние ще можем да опишем 
един сложен свят? Отговорът е, че ще строим моделите йерархично. Ще използваме по- 
прости модели и ще прави от тях по-сложни. Казахме вече, че следата на сусШ-Опусп 
модела може да се характеризира е явления, които са други, по-прости сусШ-Опусп модели. 
Също така, ако един модел попадне в определено състояние, то това е събитие, което може 
да бъде наблюдавано от друг модел (тоест, да се използва за създаването на по-сложен 
суегЧ-йпуеп модел). 

Ако искаме да намерим модел на света, ние трябва да се откажем от идеята да търсим 
съвършения модел на света. Ще завършим е афоризма на Волтер „РеНес! П Йю еиешу оГ 
§ооб“. Оказва се, че тази сентенция е валидна и за Изкуствения Интелект. 
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